Kanagawa là một đơn vị cấp tỉnh có diện tích khá nhỏ nằm giữa Tokyo ở phía Bắc, chân núi Phú Sĩ về phía Tây Bắc và Thái Bình Dương và vịnh Tokyo về phía Nam và phía Đông. Phía Đông là đồng bằng khá bằng phẳng và được đô thị hóa cao độ, bao gồm các thành phố cảng lớn là Yokohama và Kawasaki, về phía Đông Nam thì mức độ đô thị hóa thấp hơn, gần bán đảo Miura nơi có thành phố cổ Kamakura- một địa danh du lịch nổi tiếng. Phía Tây thì nhiều núi đồi, có các khu nghỉ mát như Odawara và Hakone.

Sông Tama là ranh giới tự nhiên giữa Kanagawa và Tokyo. Sông Sagami chảy qua giữa tỉnh này.